Ngày xưa thuộc đất thôn Vĩnh Thái và thôn An Phú, tổng Hậu Túc (sau đổi là tổng Đồng Xuân), huyện Thọ Xương cũ. Sau đó, thôn Vĩnh Thái đổi thành thôn Vĩnh Hanh. Hai thôn này nằm hai bên bờ sông Tô Lịch, đoạn sông này đã bị lấp, hình thành dải phố với hai dãy nhà đối diện. Thời Pháp phố Hàng Mã được đặt tên chung là Rue du Cuivre với phố Hàng Đồng bây giờ. Dân ở đây gồm một số gia đình người làng Tân Khai đến định cư mở cửa hàng bán giấy và đồ mã dùng cho công việc cúng lễ theo tập tục phương Đông, và đồ hàng giấy dùng trong trang trí[2].

Lịch sử Hàng Mã còn nổi tiếng với kiến trúc đặc trưng của phố cổ Hà Nội là những ngôi nhà hình ống và nhà chồng diêm. Nhà hình ống với bề rộng có hạn, nhưng người dân đã khéo léo kết hợp không gian ở, thờ phụng, nghỉ ngơi, sản xuất và công việc buôn bán. Nhà chồng diêm là loại nhà hai tầng có cửa giả hoặc cửa sổ cỡ nhỏ mở ra phía mặt đường phố, những ngôi nhà như thế này ngoài mái ngói hắt nghiêng ra ngoài mặt phố còn có mái tranh vẩy thêm ra hè để che mưa nắng cho cửa nhà hoặc cửa hàng buôn bán.

Công việc buôn bán trên phố Hàng Mã thực sự đông đúc bắt đầu trước ngày Rằm tháng 7 Âm lịch khoảng một tháng, và từ ngày 24 tháng Chạp ngay sau lễ Tết Ông Công ông Táo đến tận trưa ngày 30 Tết Âm lịch (còn gọi là tết Nguyên Đán).